線形回帰の場合，残差の平方和がδの二乗に従うか？
・切片を定数とした場合の最小二乗
線形の式，
まずは，\(\Large \displaystyle y_i =a_0 + a_1 x_i \)，からスタートします．
傾きを固定したので，傾きの固定した値によって，切片，a0，がどのような最適解になるかを調べます．
\(\Large \displaystyle \sum_{i=1}^n \left( y_i - a_0 - a_1 x_i \right)^2 \)
が最小になればいいので，
\(\Large \displaystyle \frac{ \partial}{ \partial a_1} \sum_{i=1}^n \left( y_i - a_0 - a_1 x_i \right)^2 =0 \)
となる，a1，を求めます．
\(\Large \displaystyle = \frac{ \partial}{ \partial a_1} \left[ \sum_{i=1}^n y_i^2
+\sum_{i=1}^n a_0^2 +\sum_{i=1}^n ( b x_i)^2
- 2 \sum_{i=1}^n
y_i a_0 -2 \sum_{i=1}^n a_1 x_i y_i +2 \sum_{i=1}^n a_0 a_1 xi
\right] \)
a1，が含まれていない項は微分で０となるので，
\(\Large \displaystyle = \frac{ \partial}{ \partial a_1} \left[
a_1^2 \sum_{i=1}^n
x_i^2 -2 a_1\sum_{i=1}^n xi y_i +2 a_0 a_1\sum_{i=1}^n xi
\right] \)
\(\Large \displaystyle = 2 a_1 \sum_{i=1}^n x_i^2 - 2 \sum_{i=1}^n x_i y_i +2 a_0 \sum_{i=1}^n xi \)
\(\Large \displaystyle = 2 n a_1 \bar{x^2} - 2 n \overline{x y} +2 a_0 \bar{ x} =0 \)
\(\Large \displaystyle a_{1a_0} = \frac{\overline{x y} - a_0 \bar{ x}}{ \bar{x^2}} \)
となります．
ここで，a0，を変化させたときの残差は，
\(\Large \displaystyle \sum_{i=1}^n \left( y_i - a_{0} - a_{1 a_0}x_i \right)^2 \)
\(\Large \displaystyle = \sum_{i=1}^n \left( y_i - a_{0} - \frac{\overline{x y} - a_0 \bar{ x}}{ \bar{x^2}} x_i \right)^2 \)
\(\Large \displaystyle = \sum_{i=1}^n \left( \frac{ \bar{x^2} y_i - a_{0} \bar{x^2}- \overline{x y} x_i + a_0 \bar{ x} x_i}{ \bar{x^2}} \right)^2 \)
\(\Large \displaystyle = \sum_{i=1}^n \left( \frac{ \bar{x^2} y_i- \overline{x y} x_i + a_{0} ( \bar{ x} x_i - \bar{x^2}) }{ \bar{x^2}} \right)^2 \)
ここでa1，を推定値からの偏差，δ，で表すと，
\(\Large \displaystyle a_0 = \hat{a_0} + \delta \)
となるので，
\(\Large \displaystyle = \frac{1}{ \bar{x^2}^2} \sum_{i=1}^n \left\{ \bar{x^2} y_i- \overline{x y} x_i + (\hat{a_0} + \delta) ( \bar{ x} x_i - \bar{x^2}) \right\}^2 \)
δで整理すると，
\(\Large \displaystyle = \frac{1}{ \bar{x^2}^2} \sum_{i=1}^n \left\{ ( \bar{ x} x_i - \bar{x^2}) \delta +(\bar{x^2} y_i- \overline{x y} x_i) + \hat{a_0} ( \bar{ x} x_i - \bar{x^2}) \right\}^2 \)
と整理できます．
次に，δ2，δ1，δ0，と分けて考えていきましょう．
・δ2
\(\Large \displaystyle = \frac{1}{ \bar{x^2}^2} \sum_{i=1}^n \left[ ( \bar{ x} x_i - \bar{x^2}) \right]^2 \)
\(\Large \displaystyle = \frac{1}{ \bar{x^2}^2} \sum_{i=1}^n \left[ \bar{ x}^2 x_i^2 - 2 \bar{x} x_i \bar{x^2} +(\bar{x^2})^2 \right]^2 \)
\(\Large \displaystyle = \frac{n}{ \bar{x^2}^2} \left[ \bar{ x}^2 \bar{x_i^2} - 2 \bar{x}^2 \bar{x^2} +(\bar{x^2})^2 \right]^2 \)
\(\Large \displaystyle = \frac{n}{ \bar{x^2}^2} \left[ (\bar{x^2})^2 - \bar{ x}^2 \bar{x^2} \right]^2 \)
\(\Large \displaystyle = \frac{n \left[ \bar{x^2} - \bar{x}^2 \right] }{ \bar{x^2}} \)
となります．
・δ1
\(\Large \displaystyle \frac{2}{ \bar{x^2}^2} \sum_{i=1}^n \left[ ( \bar{ x} x_i - \bar{x^2}) \left\{ (\bar{x^2} y_i- \overline{x y} x_i) + \hat{a_0} ( \bar{ x} x_i - \bar{x^2}) \right\} \right] \)
\(\Large \displaystyle = \frac{2}{ \bar{x^2}^2} \sum_{i=1}^n \left[ \bar{x} x_i \bar{x^2} y_i - \bar{x} x_i \overline{xy} x_i
- ( \bar{x^2} )^2 y_i +\bar{x^2} \overline{xy} x_i
+ \hat{a_0} ( \bar{ x} x_i - \bar{x^2})^2 \right] \)
\(\Large \displaystyle = \frac{2}{ \bar{x^2}^2} \sum_{i=1}^n [ \bar{x} x_i \bar{x^2} y_i - \bar{x} x_i \overline{xy} x_i
- ( \bar{x^2} )^2 y_i +\bar{x^2} \overline{xy} x_i \)
\(\Large \displaystyle \hspace{70 pt} + \hat{a_0} ( \bar{ x} x_i)^2 - 2 \hat{a_0} \bar{ x} x_i \bar{x^2}+ \hat{a_0}(\bar{x^2})^2 ] \)
\(\Large \displaystyle = \frac{2 n}{ \bar{x^2}^2} [ \bar{x} \bar{x^2} \overline{xy} - \bar{x} \bar{x^2} \overline{xy}
- ( \bar{x^2} )^2 \bar{y} + \bar{x} \bar{x^2} \overline{xy} \)
\(\Large \displaystyle \hspace{70 pt} + \hat{a_0} \bar{ x}^2 \bar{x^2} - 2 \hat{a_0} \bar{ x}^2 \bar{x^2}+ \hat{a_0}(\bar{x^2})^2 ] \)
となります．同じ項目を色分けすると，
\(\Large \displaystyle = \frac{2 n}{ \bar{x^2}^2} [\color{blue}{ \bar{x} \bar{x^2} \overline{xy} - \bar{x} \bar{x^2} \overline{xy} }
- ( \bar{x^2} )^2 \bar{y} + \color{blue}{\bar{x} \bar{x^2} \overline{xy}} \)
\(\Large \displaystyle \hspace{70 pt} \color{red}{+ \hat{a_0} \bar{ x}^2 \bar{x^2} - 2 \hat{a_0} \bar{ x}^2 \bar{x^2}}+ \hat{a_0}(\bar{x^2})^2 ] \)
\(\Large \displaystyle = \frac{2 n}{ \bar{x^2}^2} \left[ \bar{x} \bar{x^2} \overline{xy} - ( \bar{x^2} )^2 \bar{y} - \hat{a_0} \bar{ x}^2 \bar{x^2}+ \hat{a_0}(\bar{x^2})^2 \right] \)
\(\Large \displaystyle = \frac{2 n}{ \bar{x^2}^2} \left[ \bar{x} \bar{x^2} \overline{xy} - ( \bar{x^2} )^2 \bar{y} + \hat{a_0} \bar{x^2} \left\{ \bar{x^2} -\bar{ x}^2 \right\} \right] \)
ここから，
\(\Large\displaystyle \hat{a_0} = \bar{y} - \frac{ \overline{x y} - \bar{x} \bar{y} }
{ \displaystyle
\overline{x^2}- \bar{x}^2}
\bar{x}\)
なので，
\(\Large \displaystyle = \frac{2 n}{ \bar{x^2}^2} \left[ \bar{x} \bar{x^2} \overline{xy}
- ( \bar{x^2} )^2 \bar{y}
+ \left\{ \bar{y} -\frac{ \overline{x y} - \bar{x} \bar{y} }
{ \displaystyle
\overline{x^2}- \bar{x}^2}
\bar{x} \right\} \bar{x^2} \left\{ \bar{x^2} -\bar{ x}^2 \right\} \right] \)
\(\Large \displaystyle = \frac{2 n}{ \bar{x^2}^2} \left[ \bar{x} \bar{x^2} \overline{xy}
- ( \bar{x^2} )^2 \bar{y}
+ \bar{x^2} \bar{y} \left\{ \bar{x^2} -\bar{ x}^2 \right\}
-( \overline{xy} - \bar{x} \bar{y} ) \bar{x} \bar{x^2} \right] \)
\(\Large \displaystyle = \frac{2 n}{ \bar{x^2}^2} \left[ \bar{x} \bar{x^2} \overline{xy}
- ( \bar{x^2} )^2 \bar{y}
+ \bar{x^2} (\bar{y})^2 - (\bar{ x}^2)^2 \bar{x^2} \bar{y}
- \bar{x} \bar{x^2} \overline{xy}+ (\bar{x})^2 \bar{x^2} \bar{y} \right] \)
となります．同じ項目を色分けすると，
\(\Large \displaystyle = \frac{2 n}{ \bar{x^2}^2} \left[ \color{purple}{\bar{x} \bar{x^2} \overline{xy}}
\color{red}{- ( \bar{x^2} )^2 \bar{y}
+ \bar{x^2} (\bar{y})^2} \color{blue}{- (\bar{ x}^2)^2 \bar{x^2} \bar{y} }
\color{purple}{- \bar{x} \bar{x^2} \overline{xy}}+ \color{blue}{(\bar{x})^2 \bar{x^2} \bar{y}} \right] \)
とちょうどキャンセルするので，０，となります
・δ0
すいません，これ，かなり厄介な計算なので，省きます．．．
ただ，δ0なので，δ=0，の条件になるので，
\(\Large \displaystyle a_0 = \hat{a_0} + \delta \)
\(\Large \displaystyle a_0 = \hat{a_0} + 0 \)
\(\Large \displaystyle a_0 = \hat{a_0} \)
δ0の項は，
\(\Large \displaystyle \sum_{i=1}^n (y_i - \hat{a_0} - \hat{a_1} x_i)^2 =Se \)
となります．
・結果
まとめると，a0，を変化させたときの残差は，
\(\Large \displaystyle \sum_{i=1}^n \left( y_i - a_{0} - a_{1b} x_i \right)^2 = Se + \frac{n \left[ \bar{x^2} - \bar{x}^2 \right] }{ \bar{x^2}} \delta^2 \)
となります．
ここで，これらのサイト，サイト，サイトでお示ししたように，\(\Large \displaystyle \hat{a_0} \)の分散は，
\(\Large \displaystyle V \left[ \hat{a_0} \right] =\sigma^2 \frac{\sum_{i=1}^{n} x_i^2 }{n \sum_{i=1}^{n} \left( x_i - \bar{x} \right)^2} \)
\(\Large \displaystyle \sigma^2 = \frac{E \left[ \sum_{i=1}^n \hat{u_i}^2 \right]}{n-2} = s^2 \)
\(\Large \displaystyle y_i = \hat{a_0} + \hat{a_1} x_i + \hat{u_i} \)
から，
\(\Large \displaystyle \hat{u_i} = y_i - \hat{a_0} - \hat{a_1} x_i \)
\(\Large \displaystyle \sigma^2 = \frac{E \left[ \sum_{i=1}^n \hat{u_i}^2 \right]}{n-2} =\frac{ \sum_{i=1}^n (y_i - \hat{a_0} - \hat{a_1} x_i)^2 }{n-2} \)
\(\Large \displaystyle V \left[ \hat{a_0} \right]
= \frac{\sigma^2 }{\sum_{i=1}^{n} \left( x_i - \bar{x} \right)^2}
=
\frac{\sum_{i=1}^{n} x_i^2 \sum_{i=1}^n (y_i - \hat{a_0} - \hat{a_1} x_i)^2 }{n (n-2) \sum_{i=1}^{n} \left( x_i - \bar{x} \right)^2} \)
となります．ここでシフト量，δの二乗が,\(\Large \displaystyle V \left[ \hat{a_0} \right] \)，の場合は，
\(\Large \displaystyle \sum_{i=1}^n \left( y_i - a_{0b} - a_1 x_i \right)^2 = Se + \frac{n \left[ \bar{x^2} - \bar{x}^2 \right] }{ \bar{x^2}} \delta^2 \)
\(\Large \displaystyle = Se + \frac{n \left[ \bar{x^2} - \bar{x}^2 \right] }{ \bar{x^2}} \frac{\sum_{i=1}^{n} x_i^2 \sum_{i=1}^n (y_i - \hat{a_0} - \hat{a_1} x_i)^2 }{n (n-2) \sum_{i=1}^{n} \left( x_i - \bar{x} \right)^2} \)
\(\Large \displaystyle = Se + \frac{\sum_{i=1}^n (y_i - \hat{a_0} - \hat{a_1} x_i)^2 }{ n-2} \)
となり，第二項が，ここ，で説明した，
\(\Large \displaystyle Ve = \frac{1}{n-2} \sum_{i=1}^{n} \left(y_i -\hat{a_0} - \hat{a_1} x_i \right)^2 = \frac{Se}{n-2} \)
と等しくなり，結果として，
\(\Large \displaystyle S_{SE} = Se + Ve \)
が成り立つことになります．